패러다임의 전환: 작업별 모델에서 LLM으로

NLP의 진화: 파편화된 AI에서 파운데이션 모델로

정의

• 파편화된 AI: 시퀀스 라벨링이나 분류와 같은 개별 작업을 위해 설계된 개별적이고 전문화된 신경망 아키텍처로 정의되는 시대입니다.
• 파운데이션 모델: 모든 언어적 문제를 생성적 텍스트-투-텍스트 시퀀스 $x \rightarrow y$로 취급하는 통합된 단일 트랜스포머 아키텍처입니다.

핵심 개념

• 아키텍처 통합: 과거에는 NLP에 맞춤형 파이프라인(NER용 Bi-LSTM, 감정 분석용 CNN)이 필요했습니다. LLM은 이러한 사일로를 하나의 백본으로 통합하여 모든 작업에 동일한 가중치를 사용합니다.
• 통합 인터페이스: LLM은 전문화된 '출력 헤드'(예: 3-클래스 Softmax)를 자연어 인터페이스로 대체합니다. 입력과 출력은 항상 문자열이므로 모델이 의도 보다 형식을 해석할 수 있습니다.
• 지식 전이: 전통적인 모델은 각 작업마다 '백지 상태(tabula rasa)'였습니다. LLM은 일반화 우선을 우선시하며, 여기서 특정 작업은 기존의 견고한 내부 언어 표현을 단순히 적용한 것에 불과합니다.

역사적 배경

• 2018년 이전: 작업 격리로 인해 서로 다른 손실 함수 $\mathcal{L}_{task}$를 가진 별개의 모델을 훈련해야 했습니다.
• 현대: '텍스트-투-텍스트' 패러다임을 통해 단일 모델(예: Llama-3)이 제로샷 또는 퓨샷 프롬프팅으로 작업을 전환할 수 있습니다.